"""
1.http协议

2.认识requests  实现最基本的发送请求的方法
                什么是请求  刷新页面   访问网站

3.获取响应以后对数据进行清洗
      分为非结构化数据     html  lxml etree xpath     re正则(暴力)
      结构化数据          json格式      jsonpath

4.反扒
4.1useragent反扒    很简单
4.2cookie反扒
4.3referer反扒

5.反扒 视频反扒
b站案例
反扒  音视频分离
反反爬   获取音频   获取视频  》》合成 ffmpeg 工具

6.js逆向    难点 重点
     百度翻译 js      网易有道翻译 python本地执行
     艺恩网站 js       网易云案例 抓取评论的

7.selenium 自动化测试工具
    做什么   可以完成用户在网页上的操作  点击   滑动验证码 滑动窗口   可以获取cookie

8.fiddler 移动端抓包工具   fiddler   ios 系统的 pass    安卓的五左右的手机 考虑
    （模拟器  运行在pc端的android 系统  ）
9.scrapy 框架 爬取大量数据的框架  1亿条数据
    scrapy框架 高并发的爬虫框架   每秒发16次请求
    结合之前所学的所有知识点的总结知识点         只适用于大量数据爬取

"""






















